答案:$\frac{\pi}{4}-\frac{1}{3}$
解析:将 $D$ 分为两部分:$D_1: x^2+y^2\le 1$(单位圆在第一象限部分),$D_2: x^2+y^2>1$。
在 $D_1$ 上 $|x^2+y^2-1|=1-x^2-y^2$,在 $D_2$ 上 $|x^2+y^2-1|=x^2+y^2-1$。
$\iint_{D_1}(1-x^2-y^2)\,d\sigma=\int_0^{\frac{\pi}{2}}d\theta\int_0^1(1-r^2)r\,dr=\frac{\pi}{2}\cdot\frac{1}{4}=\frac{\pi}{8}$。
$\iint_{D_2}(x^2+y^2-1)\,d\sigma=\iint_D(x^2+y^2-1)\,d\sigma-\iint_{D_1}(x^2+y^2-1)\,d\sigma$。
$\iint_D(x^2+y^2)\,d\sigma=\int_0^1\int_0^1(x^2+y^2)\,dy\,dx=\frac{2}{3}$,$\iint_D d\sigma=1$。
$\iint_D(x^2+y^2-1)\,d\sigma=\frac{2}{3}-1=-\frac{1}{3}$。
$\iint_{D_2}(x^2+y^2-1)\,d\sigma=-\frac{1}{3}+\frac{\pi}{8}$。
原式 $=\frac{\pi}{8}-\frac{1}{3}+\frac{\pi}{8}=\frac{\pi}{4}-\frac{1}{3}$。